Această pagină prezintă o serie de probleme care ilustrează noțiunile prezentate la curs și care vin în sprijinul studenților în vederea pregătirii examenului final.

1 Elemente de simulare

Exercițiul 1.1 (Integrare Monte Carlo (1)) Propuneți două metode alternative de aproximare Monte-Carlo pentru integralele următoare:

$I_1=\int_0^1 \cos \left(x^3\right) \exp (-x) d x$
$I_2=\int_0^{+\infty} \sin \left(x^4\right) \exp (-2 x) \exp \left(-\frac{x^2}{2}\right) d x$
$I_3=\int_0^1 \ln \left(1+x^2\right) \exp \left(-x^2\right) d x$

Comparați rezultatele cu cele obținute prin aproximare numerică folosind funcția integrate().

Exercițiul 1.2 (Generare folosind metoda directă) Fie $X$ o variabilă aleatoare cu funcția de repartiție dată de

\[ F(x)=\left(1-\exp \left(-\alpha x^\beta\right)\right) \mathbf{1}_{[0,+\infty)}(x), \]

unde $\alpha,\beta>0$. Determinați densitatea de repartiție a repartiției lui $X$ și propuneți o metodă de simulare din această repartiție.

Exercițiul 1.3 (Repartiția normală - metoda respingerii 1) Plecând cu o propunere de tip $\mathrm{Exp}(\lambda)$ vrem să generăm, cu ajutorul metodei acceptării-respingerii, un eșantion din următoarea densitate (jumătate de normală):

\[ f(x) = \left\{\begin{array}{ll} \frac{2}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}, & \mbox{dacă $x\geq0$}\\ 0, & \mbox{altfel}\\ \end{array}\right. \]

Cum putem modifica algoritmul pentru a genera un eșantion dintr-o repartiție normală standard?

Exercițiul 1.4 (Repartiția normală - metoda respingerii 2) Plecând cu o propunere de tip Cauchy $C(0, 1)$ vrem să generăm, cu ajutorul metodei acceptării-respingerii, un eșantion de volum $n$ dintr-o populație normală standard. Descrieți metoda și algoritmul aferent.

Exercițiul 1.5 (Sumă de două uniforme independente) Fie $X_1$ și $X_2$ două variabile aleatoare independente repartizate $\mathcal{U}([0,1])$. Determinați repartiția variabilei aleatoare $U =X_1 + X_2$.

Exercițiul 1.6 (Exemplu de simulare repartiția Uniformă) Fie $X_1$ și $X_2$ două variabile aleatoare independente repartizate $\mathrm{Exp}(\lambda)$. Arătați că variabila aleatoare $Y=\frac{X_1}{X_1+X_2}$ este repartizată uniform $\mathcal{U}(0,1)$.

Exercițiul 1.7 (Caracterizare repartiția Cauchy) Fie $X$ și $Y$ două variabile aleatoare independente repartizate $\mathcal{N}(0,1)$. Arătați că $\frac{X}{Y}\sim C(0,1)$.

Exercițiul 1.8 (Metodă de generare a observațiilor Poisson) Fie $(E_n)_{n\geq 1}$ un șir de variabile aleatoare independente și repartizate $\mathcal{E}(\lambda)$.

Pentru $n\geq 1$ definim

\[ f_n(x) = e^{-\lambda x}\frac{\lambda^n x^{n-1}}{(n - 1)!}\mathbf{1}_{\{x\geq 0\}}, \quad x\in\mathbb{R.} \]

Arătați că $f_n$ este o densitate de repartiție pentru orice $n\geq 1$. Repartiția a cărei densitate este $f_n$ se numește repartiția Gamma de parametrii $n\geq 1$ și $\lambda$ și se notează cu $\Gamma(n, \lambda)$.

Fie $S_n = \sum_{i=1}^{n}E_i$ pentru $n\geq 1$. Arătați că $S_n$ este repartizată $\Gamma(n, \lambda)$.
Considerăm variabila aleatoare

\[ N = \max\{n\geq 1\,|\,S_n\leq 1\} \]

cu convenția $N = 0$ dacă $X_1>1$. Arătați că variabila aleatoare $N$ este repartizată $Pois(\lambda)$.

Exercițiul 1.9 (Caracterizare repartiția $B(\alpha,\beta)$) Fie $X$ și $Y$ două variabile aleatoare independente repartizate $\Gamma(\alpha, a)$ și respectiv $\Gamma(\beta, a)$. Arătați că $\frac{X}{X+Y}\sim B(\alpha,\beta)$. Propuneți o metodă de simulare din repartiția $B(\alpha,\beta)$ și descrieți algoritmul.

Exercițiul 1.10 (Repartiție bivariată (1)) Considerăm cuplul de variabile aleatoare $(X,Y)$ care este repartizat cu densitatea de repartiție \[ f(x,y) = yx^{y-1}e^{-y}\mathbf{1}_{(0,+\infty)}(y)\mathbf{1}_{(0,1)}(x) \] a) Determinați repartiția lui $Y$ și propuneți o metodă de simulare pentru aceasta. b) Determinați densitatea condiționată a lui $X$ la $Y=y$ și calculați $\mathbb{P}(X\leq x|Y=y)$. c) Propuneți o metodă de simulare pentru o observație din densitatea $f(x,y)$ și scrieți un cod R care să permită acest lucru.

Exercițiul 1.11 (Repartiție bivariată (2)) Considerăm cuplul de variabile aleatoare $(X,Y)$ care este repartizat cu densitatea de repartiție \[ f(x,y) = \frac{1}{\sqrt{8\pi}}e^{-\frac{y^2x}{2}-\sqrt{x}}\mathbf{1}_{x>0}. \] a) Determinați repartiția condiționată a lui $Y$ la $X = x$. b) Determinați repartiția lui $\sqrt{X}$. c) Propuneți o metodă de simulare pentru o observație din densitatea $f(x,y)$ și scrieți un cod R care să permită acest lucru.

Exercițiul 1.12 (Generarea din coadă) Fie $X$ o variabilă aleatoare cu funcția de repartiție $F$ bijectivă.

Cum putem genera cu ajutorul metodei respingerii observații din repartiția lui $X$ condiționată la $X>a$? Ce se întâmplă atunci când $a$ este mare ? Scrieți un cod R care să permită simularea unei observații din repartiția lui $X$ condiționată la $X>a$, unde variabila aleatoare $X$ este repartizată $\mathrm{Exp}(1)$ iar $a=4$.
Fie $U\sim\mathcal{U}[0,1]$ și $T$ definită prin

\[ T = F^{-1}\left(F(a) + (1 - F(a)) U \right). \]

Determinați funcția de repartiție a lui $T$ și găsiți o metodă de simulare a repartiției lui $X$ condiționată la $X>a$. Care dintre cele două metode este de preferat ?

2 Statistici de ordine

Exercițiul 2.1 (Densitatea amplitudinii eșantionului) Fie $X_1,X_2,\ldots,X_n\sim F$, un eșantion de volum $n$ din populația $F$.

Să se determine funcția de repartiție a vectorului $\left(X_{(1)}, X_{(n)}\right)$
Dacă $F$ admite densitatea de repartiție $f$ atunci să se determine densitatea amplitudinii eșantionului $R_n = X_{(n)} - X_{(1)}$.

Exercițiul 2.2 (Aplitudinea eșantionului pentru uniforme) Fie $X_1,X_2,\ldots,X_n\sim F$, un eșantion de volum $n$ din populația $\mathcal{U}(0, 1)$.

Să se determine densitatea amplitudinii eșantionului $R_n = X_{(n)} - X_{(1)}$
Generați $N = 10000$ de eșantioane de volum $n=100$ din $\mathcal{U}(0, 1)$, calculați amplitudinea eșantionului și comparați grafic (prin intermediul unei histograme) repartiția empirică cu cea teoretică.
Arătați că repartiția limită a variabilei $2n(1-R_n)$ este $\chi^2(4)$.

Exercițiul 2.3 (Generare din repartiția vectorului de statistici de ordine) Fie $U_1,U_2,\ldots,U_n\sim \mathcal{U}(0, 1)$ un eșantion de volum $n$ din populația uniformă pe $[0,1]$ și notăm cu $U_{(1)}, \ldots, U_{(n)}$ statisticile de ordine corespunzătoare. Dacă $X_1, X_2, \ldots, X_n, X_{n+1}$ sunt variabile aleatoare i.i.d. de repartiție comună $\mathrm{Exp}(1)$ atunci vectorul

\[ \left(\frac{X_1}{X_1+X_2+\cdots+X_{n+1}}, \frac{X_1+X_2}{X_1+X_2+\cdots+X_{n+1}}, \cdots, \frac{X_1+\cdots+X_n}{X_1+X_2+\cdots+X_{n+1}}\right) \]

are aceeași repartiție cu vectorul $(U_{(1)}, U_{(2)},\ldots, U_{(n)})$.

3 Elemente de estimare punctuală

Exercițiul 3.1 Fie $X_1, X_2, \ldots, X_n$ un eșantion independent de volum $n$ dintr-o populație de medie $\theta$ și varianță finită $\sigma^2$. Determinați estimatorul nedeplasat al lui $\theta$ de varianță minimală din clasa estimatorilor de forma $\hat{\theta}_n=\sum_{k=1}^n a_k X_k$.

Exercițiul 3.2 (Varianța varianței eșantionului) Fie $X_1,\dots,X_n$ un eșantion de volum $n$ dintr-o populație de medie $\mu$ și varianță $\sigma^2$. Arătați că varianța varianței eșantionului este:

\[ Var(S_n^2) = \frac{1}{n}\left(\mu_4-\frac{n-3}{n-1}\sigma^4\right) \]

unde $\mu_4=\mathbb{E}[(X_i-\mu)^4]$ este momentul centrat de ordin $4$. Ce revine această formulă în cazul Gaussian (normal) ?

Exercițiul 3.3 (Covarianța dintre media empirică și varianța eșantionului) Fie $X_1,\dots,X_n$ un eșantion de volum $n$ dintr-o populație de medie $\mu$ și varianță $\sigma^2$. Arătați că

\[ Cov(\bar{X}_n,S_n^2) = \frac{\mu_3}{n} \]

unde $\mu_3=\mathbb{E}[(X_i-\mu)^3]$ este momentul centrat de ordin $3$. Acest rezultat ne arată că cele două statistici sunt asimptotic necorelate.

Exercițiul 3.4 (Proprietățile covarianței eșantionului) Fie $\left(X_{1}, Y_{1}\right), \ldots,\left(X_{n}, Y_{n}\right)$ un eșantion de volum $n$ de cupluri de variabile aleatoare independente și de repartiție comună dată de repartiția lui $(X, Y)$. Atunci

$\mathbb{E}\left[C_n\right]=\frac{n-1}{n}\operatorname{Cov}(X,Y)$ și $\mathbb{E}\left[\hat{C}_n\right]=\operatorname{Cov}(X,Y)$
$C_n \xrightarrow{\text { a.s }} \operatorname{Cov}(X,Y)$ și $\hat{C}_n \xrightarrow{\text { a.s }} \operatorname{Cov}(X,Y)$
În plus dacă $\tau^{4}=\mathbb{E}\left[\left(X-\mu_{X}\right)^{2}\left(Y-\mu_{Y}\right)^{2}\right]<+\infty$, atunci $\sqrt{n}\left(C_{n}-\operatorname{Cov}(X,Y)\right) \xrightarrow[n \rightarrow \infty]{d} \mathcal{N}\left(0, \tau^4 - \operatorname{Cov}(X,Y)^2\right)$ și respectiv $\sqrt{n}\left(\hat{C}_{n}-\operatorname{Cov}(X,Y)\right) \xrightarrow[n \rightarrow \infty]{d} \mathcal{N}\left(0, \tau^4 - \operatorname{Cov}(X,Y)^2\right)$

Exercițiul 3.5 (Proprietăți ale mediei și medianei empirice) Fie $X_1, X_2, \ldots, X_n$ un eșantion de volum $n$ dintr-o populație $F$ cu $\mathbb{E}[X_1^2]<\infty$.

Se cere:

Arătați că $\mathbb{E}[X_1] = \underset{t\in\mathbb{R}}{\arg\min}\mathbb{E}[(X_1 - t)^2]$.
Determinați $\displaystyle\mathrm{argmin}_{t\in\mathbb{R}}\sum_{i = 1}^{n}\frac{(X_i - t)^2}{n}$.

Notăm cu $x_{\frac{1}{2}} = F^{-1}\left(\frac{1}{2}\right)$ mediana repartiției lui $X_1$

Arătați că dacă $F$ este continuă pe $\mathbb{R}$ și strict crescătoare pe o vecinătate a lui $x_{\frac{1}{2}}$ atunci \[ x_{\frac{1}{2}} = \underset{t\in\mathbb{R}}{\arg\min}\mathbb{E}[|X_1 - t|]. \]
Determinați, în funcție de paritatea lui $n$, $\underset{t\in\mathbb{R}}{\arg\min}\sum_{i = 1}^{n}\frac{|X_i - t|}{n}$.

Exercițiul 3.6 (Uniforma Dilatată I) Fie $X_1, X_2,\ldots, X_n$ un eșantion de volum $n$ dintr-o populație $\mathcal{U}([0, \theta])$ cu $\theta>0$ necunoscut.

Fie $\hat{\theta}_n = \max{\{X_1,\ldots,X_n\}}$. Determinați funcția de repartiția a lui $\hat{\theta}_n$.
Arătați că $\hat{\theta}_n$ este un estimator consistent pentru $\theta$.
Arătați că $\hat{\theta}_n$ nu este un estimator nedeplasat pentru $\theta$ și construiți un asemenea estimator.

Exercițiul 3.7 (Compararea estimatorilor) Fie $X\sim \mathrm{Bin}(10, \theta)$ cu $\theta\in(0,1)$ necunoscut. Fie $\hat{\theta}_1 = \frac{X}{10}$ și $\hat{\theta}_2 = \frac{X+1}{12}$ doi estimatori pentru $\theta$.

Calculați $\mathbb{E}_{\theta}[\hat{\theta}_1]$ și $\mathbb{E}_{\theta}[\hat{\theta}_2]$.
Calculați erorile pătratice medii: $MSE_{\theta}(\hat{\theta}_1)$ și $MSE_{\theta}(\hat{\theta}_2)$.
Trasați pe același grafic erorile pătratice medii ale celor doi estimatori ca funcții de $\theta$. Pe care dintre cei doi estimatori îl preferați?

Exercițiul 3.8 (Repartiția Geometrică) Fie $X_1,X_2,\dots,X_n$ un eșantion de volum $n$ de lege

\[ \mathbb{P}(X=k)=\frac{\theta^k}{(1+\theta)^{k+1}} \]

unde $\theta$ este un parametru pozitiv. Determinați estimatorii obținuți prin metoda momentelor și prin metoda verosimilității maxime și studiați proprietățile acestora.

Exercițiul 3.9 (Exponențiala translatată) Fie $X_1, X_2,\dots, X_n$ un eșantion de volum $n$ dintr-o populație cu densitatea $f_{\theta}(x)=e^{-(x-\theta)}\,,\,x\geq\theta$.

Determinați estimatorul $\tilde{\theta}$ obținut prin metoda momentelor.
Determinați estimatorul $\hat{\theta}$ obținut prin metoda verosimilității maxime.
Determinați legea variabilei $n(\hat{\theta}-\theta)$.
Verificați dacă estimatorul $\hat{\theta}$ este nedeplasat.
Calculați eroarea medie pătratică a lui $\hat{\theta}$.
În cazul în care $\theta = 2$ dorim să generăm $3$ valori aleatoare din repartiția lui $X\sim f_{\theta}(x)$. Pentru aceasta dispunem de trei valori rezultate din repartiția uniformă pe [0, 1] : $u_1 = 0.25$, $u_2 = 0.4$ și $u_3 = 0.5$. Descrieți procedura.

Exercițiul 3.10 Fie $X_1, X_2, \ldots, X_n$ un eșantion de volum $n$ din populația $f_{\theta}$ unde

\[ f_{\theta}(x) = Ae^{-\frac{x-\theta}{\theta}} \mathbf{1}_{[\theta, +\infty)}(x) \]

cu $\theta>0$, parametru necunoscut.

Determinați constanta $A$ și repartiția lui $\frac{X_1}{\theta}-1$.
Determinați estimatorul $\tilde{\theta}$ a lui $\theta$ obținut prin metoda momentelor și calculați eroarea pătratică medie a acestuia.
Găsiți repartiția limită a lui $\tilde{\theta}$.
Determinați estimatorul $\hat{\theta}$ a lui $\theta$ obținut prin metoda verosimilității maxime.
Calculați eroarea pătratică medie a lui $\hat{\theta}$ și verificați dacă estimatorul este consistent.
Pe care dintre cei doi estimatori îl preferați ?

Exercițiul 3.11 (Uniforma Dilatată II) Fie $X_1, X_2, \ldots, X_n$ un eșantion de talie $n$ dintr-o populație $\mathcal{U}([0,\theta])$ și vrem să estimăm parametrul $\theta>0$.

Determinați prin metoda momentelor un estimator $\hat{\theta}_1$ al lui $\theta$.

Considerăm următorii estimatori:

\[ \hat{\theta}_2 = 2\hat{F}_n^{-1}\left(\frac{1}{2}\right) \quad \text{și} \quad \hat{\theta}_3 = \max_{1\leq i\leq n}X_i \]

unde $\hat{F}_n^{-1}$ este funcția cuantilă (inversa generalizată) asociată funcției de repartiție empirică.

Explicați ideile care au condus la propunerea estimatorilor $\hat{\theta}_2$ și $\hat{\theta}_3$.
Determinați legile limită a estimatorilor $\hat{\theta}_1$, $\hat{\theta}_2$ și $\hat{\theta}_3$. Ce puteți spune despre proprietățile acestor estimatori?
Comparați performanțele celor trei estimatori.

Exercițiul 3.12 (Densitate pe ramuri) Pentru $\theta\in\mathbb{R}$ definim funcția

\[ f_\theta(x)= \begin{cases} 1-\theta & \text { dacă }-1 / 2<x \leq 0 \\ 1+\theta & \text { dacă } 0<x \leq 1 / 2 \\ 0 & \text { altfel. } \end{cases} \] 1. Ce condiții trebuie să verifice $\theta$ astfel încât $f_{\theta}$ să fie o densitate de repartiție în raport cu măsura Lebesgue pe $\mathbb{R}$?

Fie $X_1,\ldots,X_n$ un eșantion de volum $n$ din populația $f_{\theta}$. Verificați dacă estimatorul de verosimilitate maximă $\hat{\theta}_n$ a lui $\theta$ este bine definit.
Sub condițiile de la punctul 1, este $\hat{\theta}_n$ nedeplasat ? consistent ? asimptotic normal ?

Exercițiul 3.13 Fie $\theta>-1$ un parametru necunoscut și $X_1, X_2, \ldots, X_n$ un eșantion de volum $n$ din populația $f_{\theta}$ cu

\[ f_{\theta}(x) = ax^{\theta}\mathbf{1}_{(0,1)}(x). \]

Determinați $a$. Pentru $\theta = 2$ dorim să generăm $3$ valori aleatoare din repartiția lui $X\sim f_{\theta}(x)$. Pentru aceasta dispunem de trei valori rezultate din repartiția uniformă pe [0, 1] : $u_1 = 0.479$, $u_2 = 0.178$ și $u_3 = 0.659$. Descrieți procedura și scrieți un cod R care să permită acest lucru.
Determinați repartiția variabilei $Y=-\log(X)$ și calculați $\mathbb{E}[Y]$ și $Var(Y)$.
Determinați estimatorul de verosimilitate maximă $\hat{\theta}_n$ și verificați dacă este consistent și asimptotic normal.
Este estimatorul $\hat{\theta}_n$ asimptotic eficient ?
Calculați deplasarea $b_{\theta}(\hat{\theta}_n)$.